SpectRAG:面向多跳 RAG 的加权块图与 token 预算上下文选择
🧭 RAG · 图检索 · 谱图上下文选择 ★ 深度解读
Mitsubishi Electric US · Mitsubishi Electric Innovation Center (MELIC) · Karabuk University
用加权块图的谱坐标与预算化选择,把 RAG 检索从 top-k 相似改成连通证据集优化,以更低索引成本提升多跳证据召回
📌 工作参考价值(4 点)
- 电商 RAG/购物助手:除文本相似外,把商品同款/互补、类目层级、共同属性、会话共现/共点击、query 改写关系作为边构建商品或内容 chunk 图;用 Laplacian 谱坐标做结构化特征,可在召回阶段纳入连通性,减少相似商品冗余,补回缺失的桥接属性/卖点。
- Token 预算选择直接用于 LLM 推荐解释、Agent 工具/知识上下文化:设定固定 token 预算,做 protected core + tail precision + backfill,而不是固定 top-k;按 token 长度归一化 utility,避免长 chunk 吃光预算。
- 混合种子 + 两跳扩展:用 RRF 融合向量、BM25、历史或生成式问题匹配,再沿图做两跳扩展,可找回多跳证据;适合售后/导购等需要跨产品、跨文档推理的场景。
- 成本与效果:chunk 级稠密图 + 谱特征比实体级 GraphRAG 索引小一个数量级且 recall 更高;生产上可离线缓存图与谱坐标,在线只做轻量扩展/PPR,避免每条 query 都调大模型抽实体。
LLM智能体长期记忆的推荐系统设计
🧭 Agent长期记忆 · slate推荐级联 ★ 深度解读
Fudan University
把Agent记忆选择形式化为预算约束下的slate推荐,零LLM调用匹配64次重排且服务成本降3.2倍
📌 工作参考价值(4 点)
- 把记忆/上下文选择形式化为预算slate推荐:召回+学习排序+固定预算填充,可迁移到电商Agent客服、导购的多轮历史筛选,或搜索广告的query上下文优选;比动态截断更稳。
- 零LLM调用链路可落地:BM25+dense embedding双通道召回,RRF融合top128,LightGBM LambdaRank用10个轻量特征(相似度、排名、位置、长度、共享key等)排序,再按token预算贪心填充,写时无LLM成本,适合高QPS生产环境。
- 用stage factorization定位瓶颈:Acc = ai + (ac-ai)*r_pool*r_rank,先看候选池覆盖率,再看排序是否把证据放进budget;这能避免盲目换模型,直接发现是召回还是排序导致证据丢失。
- 固定预算填充优于per-query cutoff:当reward沿排序不下降时,任何cutoff都包含于fill,所以Adaptive-k类动态截断只会降低覆盖率;若存在低质量文档的负外部性,才需要set-level模型,否则别用动态截断。
信任引导的决策 Transformer
🧭 离线强化学习 · 决策 Transformer 上下文选择
International Institute of Information Technology Bangalore · IBM Research Bangalore
用模型自身状态预测误差加保形校准筛选可信上下文,再让 critic 选动作,缓解长 rollout 分布漂移
📌 工作参考价值(4 点)
- 在长程 Agent / 对话式推荐中,自回归生成的上下文容易偏离训练分布;可以复用「下一步状态/Token 预测误差」作为 OOD 信号,而不只依赖 reward 或 critic 分数。
- 用 split conformal prediction 在离线验证集上标定预测误差阈值,能获得覆盖率保证,避免人工拍阈值;适合对会话状态转移模型或用户序列模型做在线可信度过滤。
- 先做 trust filtering 再做 value/critic 选择:不要从不可靠 context 生成的动作里用 critic 选高价值动作;应当让 critic 只在可信 context suffix 集合内打分,能降低 OOD 动作风险。
- 对长序列推荐或 Agent 轨迹,可维护多个最近 context suffix,逐段做误差检查,只保留可信历史片段,实现类似软 reset 的上下文控制,避免硬 reset 丢失重要信息。
覆盖未见信息:面向RAG的信息需求覆盖优化
🧭 RAG 上下文选择覆盖优化
University of Shanghai for Science and Technology · Singapore Management University
将RAG上下文选择建模为信息需求覆盖优化,通过子查询和Sinkhorn-Wasserstein实现多维需求平衡覆盖
📌 工作参考价值(4 点)
- 复杂查询的多维覆盖:对于电商搜索中的多意图查询(如“高性价比户外便携蓝牙音箱”),可借鉴生成多样化的子查询(“防水”、“长续航”、“轻便”、“音质好”),并加权,以确保召回的商品列表覆盖所有关键属性,避免 top-k 相似度排序导致的单一维度过拟合。
- 即插即用的上下文选择层:方法无监督、无需训练,且与检索器无关,可直接嵌入现有的 RAG pipeline(如客服问答、推荐理由生成),在检索后增加一个覆盖优化步骤,用次模函数选择互补的文档组,提升答案的全面性。
- 利用次模函数平衡覆盖:采用需求加权的设施选址目标,借助贪心算法(1-1/e 近似)选择上下文,工程实现可参考 Sinkhorn-Wasserstein 距离作为边际增益的快速近似,计算开销可控,适合在线服务。
- 结构性限制的揭示:证明单点查询邻近性评分器无法覆盖多模态需求,这提醒从业者在复杂查询场景下(如 Agent 的多步推理、多面商品推荐),不应仅依赖向量相似度排序,而需引入覆盖多样性的选择机制。
尾部感知自适应k:查询自适应的RAG上下文选择
🧭 RAG · 自适应上下文选择
AI Lab, 37 Interactive Entertainment · School of Computer Science, Wuhan University
利用排序相似度曲线陡-平-陡模式进行拐点检测,结合局部极值理论检验,实现高效、查询自适应的检索截断,近似oracle质量
📌 工作参考价值(4 点)
- 在RAG pipeline中,可利用相似度曲线的几何特征(陡-平-陡)进行拐点检测,动态决定检索文档数量,避免固定k带来的噪声或遗漏,提升面向电商问答、知识检索的生成质量。
- 推荐系统中,向量召回后的结果截断可借鉴该方法:根据item相似度分布自动确定top-k,替代人工经验调参,降低粗排/精排计算量,尤其在长尾查询下稳定。
- Agent系统需要从工具或知识库中动态选取上下文时,TAA-k提供了一种无训练、低计算开销的自适应截断策略,适合线上实时决策。
- 方法对嵌入模型和压缩维度鲁棒,可跨业务场景复用,无需重新训练或校准。
Loong:类人长文档翻译智能体,以观察-行动自适应上下文选择
🧭 文档级翻译智能体·上下文选择 ★ 深度解读
Harbin Institute of Technology, Shenzhen · University of Macau · Huawei Translation Services Center
用类人记忆与深度推理筛选多粒度上下文,结合RL优化翻译策略,大幅提升长文档翻译质量
📌 工作参考价值(4 点)
- 多粒度记忆模块(Essence/Exemplar/Entity)可迁移到对话/推荐系统的用户记忆与上下文建模,结构化存储摘要、示例与实体,减少冗余噪声。
- 观察-行动推理框架(Observe-and-Act)可用于智能体上下文选择,通过逐步过滤无关信息提升决策质量,避免“全量注入”带来的噪声与效率问题。
- 利用RL(DPO)优化上下文选择与利用策略,从轨迹采样构造偏好数据,这一思路可泛化至推荐系统的上下文排序或个性化策略学习。
- 对齐强制翻译算法(递归分裂保证句子级对齐)可用于需要严格对应关系的生成任务(如多语种商品标题对齐、语义ID生成保序)。